O'Neill chào đời tại Brooklyn, New York vào ngày 6 tháng 2 năm 1927, cha là Edward Gerard O'Neill, một luật sư và mẹ là Dorothy Lewis O'Neill (nhũ danh Kitchen).[4][5][6] Ông không có anh chị em nào khác. Gia đình ông dọn đến ở Speculator, New York khi cha ông tạm thời nghỉ hưu vì lý do sức khỏe.[6] Về phần trường trung học, O'Neill nhập học trường Newburgh Free Academy ở Newburgh, New York. Khi còn là sinh viên, ông đã biên tập tờ báo của trường và nhận công việc phát thanh viên tại một đài phát thanh địa phương.[4] Ông tốt nghiệp năm 1944, trong Thế chiến II, và nhập ngũ vào Hải quân Mỹ vào sinh nhật lần thứ 17.[4][7] Hải quân đã đào tạo ông thành một kỹ thuật viên radar, điều này làm ông trở nên hứng thú với khoa học.[4]

Sau khi ông được xuất ngũ một cách vinh dự vào năm 1946, O'Neill theo học vật lý và toán học tại Đại học Swarthmore.[7][8] Khi còn nhỏ, ông đã thảo luận về khả năng của con người trong không gian với cha mẹ mình và ở trường đại học, ông thích làm việc dựa trên các phương trình tên lửa. Tuy nhiên, ông không xem khoa học vũ trụ là một lựa chọn cho con đường sự nghiệp trong ngành vật lý, thay vào đó lại chọn theo đuổi vật lý năng lượng cao.[9] Ông tốt nghiệp bằng danh dự Phi Beta Kappa năm 1950. O'Neill đã thực hiện nghiên cứu sau đại học của mình tại Đại học Cornell với sự giúp đỡ từ học bổng của Ủy ban Năng lượng nguyên tử, và được trao bằng tiến sĩ vật lý năm 1954.[7]

O'Neill kết hôn với Sylvia Turlington, cũng tốt nghiệp Swarthmore, vào tháng 6 năm 1950.[4][10] Cả hai có với nhau một cậu con trai, Roger và hai cô con gái, Janet và Eleanor, trước khi cuộc hôn nhân của họ kết thúc bằng việc ly dị vào năm 1966.[4][6]

Một trong những hoạt động yêu thích của O'Neill là bay lượn. Ông đã có các chứng chỉ về thiết bị trong cả chuyến bay bằng tàu lượn và năng lượng và giữ Huy hiệu Kim cương FAI, một giải thưởng bay bằng tàu lượn.[6][11] Trong chuyến bay lượn xuyên quốc gia đầu tiên vào tháng 4 năm 1973, ông được Renate "Tasha" Steffen hỗ trợ trên mặt đất. Ông từng gặp Tasha, người trẻ hơn mình 21 tuổi, trước đây thông qua Câu lạc bộ Quốc tế YMCA. Họ đã kết hôn một ngày sau chuyến bay đó.[5][6] Cả hai có với nhau một cậu con trai, Edward O'Neill.[12]